Yamin memulakan kerjayanya sebagai seorang penulis pada dekad 1920-an semasa dunia puisi serata kepulauan Indonesia mengalami pengaruh romantisisme yang hebat dan terkenang-kenang. Karya-karya pertamanya ditulis dalam bahasa Melayu dalam jurnal Jong Sumatera, sebuah jurnal bahasa Belanda, pada tahun 1920. Karya-karyanya yang awal masih terikat kepada "kata-kata-kata basi bahasa Melayu Klasik".

Pada tahun 1922, Yamin muncul buat pertama kali sebagai pemuisi dengan puisinya, Tanah Air; maksud "tanah air"-nya ialah Sumatera. Tanah Air merupakan himpunan puisi moden Melayu yang pertama yang pernah diterbitkan. Sitti Nurbaya, novel moden utama yang pertama dalam bahasa Melayu juga muncul pada tahun yang sama, tetapi ditulis oleh Marah Riessli yang juga merupakan seorang anak Minangkabau. Karya-karya Rusli mengalami sepuluh tahun kepopularan yang unggul.

Himpunan Yamin yang kedua, Tumpah Darahku, muncul pada 28 Oktober 1928. Tarikhnya amat penting dari segi sejarah kerana pada waktu itulah, Yamin dan beberapa orang pejuang kebangsaan memutuskan untuk menghormati satu tanah air, satu bangsa, dan satu bahasa Indonesia yang tunggal. Dramanya, Ken Arok dan Ken Dedes yang berdasarkan sejarah Jawa muncul juga pada tahun yang sama. Antara akhir dekad 1920-an sehingga tahun 1933, Roestam Effendi, Sanusi Pane, dan Sutan Takdir Alisjahbana merupakan pembentuk-pembentuk utama bahasa Melayu dan kesusasteraannya.

Walaupun Yamin menguji kaji bahasa dalam puisi-puisinya, beliau masih lebih menepati norma-norma klasik bahasa Melayu, berbanding dengan generasi-generasi penulis yang lebih muda. Beliau juga menerbitkan banyak drama, esei, novel sejarah dan puisi yang lain, serta juga menterjemahkan karya-karya William Shakespeare (drama Julius Caesar) dan Rabindranath Tagore.